/// Read and prepare ARN_Police data

set matsize 10000
set more off

* 2013
import excel "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2013_12.xlsx", firstrow clear

keep if ExGrupo=="AUC"

keep CódigoIndividuo ExGrupo Exestructura Edad Municipio  Departamento  ///
	AtendidoenelMesActual  NdeAccionesdeFpTMesActual ///
	NdeCapturasCrucePONAL  NdeCapturasenFlagrancia  Fechaultimacaptura  ///
	CircunstanciadeultimaCaptura DelitoultimaCaptura DptodeultimaCaptura  ///
	MpiodeultimaCaptura  NNovedadesdeRetornos ///
	PrivadodelalibertadCruceI  EstadoCruceINPEC TipodeReincidencia  DelitoReincidencia  NdeHijos ///
	GrupoTerritorialAsignado 
	
gen year= 2013
gen month= 12
gen date=mdy(month,27,year)
format date %td

gen codigoespejo= CódigoIndividuo 
sort  codigoespejo 
quietly by codigoespejo :  gen dup5 = cond(_N==1,0,_n)
drop if dup5>1
drop dup5

egen origmuni=ends(Municipio), last
egen origmuncapturas=ends(MpiodeultimaCaptura), last
drop if origmuni=="Registra>"
destring origmuni, generate(origmun)
destring origmuncapturas, generate(origmuncaptura)

save "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2013_12.dta", replace

*2014
import excel "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2014_12.xlsx", firstrow clear

keep if ExGrupo=="AUC"

keep CódigoIndividuo ExGrupo Exestructura Edad Municipio  Departamento  ///
	AtendidoenelMesActual  NdeAccionesdeFpTMesActual ///
	NdeCapturasCrucePONAL  NdeCapturasenFlagrancia  Fechaultimacaptura  ///
	CircunstanciadeultimaCaptura DelitoultimaCaptura DptodeultimaCaptura  ///
	MpiodeultimaCaptura  NNovedadesdeRetornos ///
	PrivadodelalibertadCruceI  EstadoCruceINPEC TipodeReincidencia  DelitoReincidencia  NdeHijos ///
	GrupoTerritorialAsignado 
	
gen year= 2014
gen month= 12
gen date=mdy(month,27,year)
format date %td

gen codigoespejo= CódigoIndividuo
sort  codigoespejo 
quietly by codigoespejo :  gen dup5 = cond(_N==1,0,_n)
drop if dup5>1
drop dup5

egen origmuni=ends(Municipio), last
egen origmuncapturas=ends(MpiodeultimaCaptura), last
drop if origmuni=="Registra>"
destring origmuni, generate(origmun)
destring origmuncapturas, generate(origmuncaptura)

save "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2014_12.dta", replace

* 2015
import excel "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2015_12.xlsx", firstrow clear

keep if ExGrupo=="AUC"

keep CdigoIndividuo ExGrupo Exestructura Edad Municipio  Departamento  ///
	AtendidoenelMesActual  NdeAccionesdeFpTMesActual ///
	NdeCapturasCrucePONAL  NdeCapturasenFlagrancia  Fechaultimacaptura  ///
	CircunstanciadeultimaCaptura DelitoultimaCaptura DptodeultimaCaptura  ///
	MpiodeultimaCaptura  NNovedadesdeRetornos ///
	PrivadodelalibertadCruceI  EstadoCruceINPEC TipodeReincidencia  DelitoReincidencia  NdeHijos ///
	GrupoTerritorialAsignado 
	
gen year= 2015
gen month= 12
gen date=mdy(month,27,year)
format date %td

gen codigoespejo= CdigoIndividuo
sort  codigoespejo 
quietly by codigoespejo :  gen dup5 = cond(_N==1,0,_n)
drop if dup5>1
drop dup5

egen origmuni=ends(Municipio), last
egen origmuncapturas=ends(MpiodeultimaCaptura), last
drop if origmuni=="Registra>"
destring origmuni, generate(origmun)
destring origmuncapturas, generate(origmuncaptura)

save "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2015_12.dta", replace

* 2016
import excel "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2016_12.xlsx", firstrow clear

keep if ExGrupo=="AUC"

keep CodigoIndividuo ExGrupo Exestructura RetornoAusencia indicedeReintegracion  ///
	Edad Grupoetnico ComunidadIndigena Sexo NNovedadesdeRetornos  Municipio  Departamento  AtendidoenelMesActual  ///
	NdeAccionesdeFpTMesActual TipodemuerteCruceMedLega FechadelosHechosFallecido  DptodelosHechosFallecido MpioDeloshechosFallecido /// 
	TotaldeCasosRiesgo  FechadeloshechosultimoCR PresuntaMotivacionultimoCR  DptodelosHechosultimoCR  MpiodeloshechosultimoCR  ///
	NdeCapturasCrucePONAL  NdeCapturasenFlagrancia  Fechaultimacaptura  CircunstanciadeultimaCaptura DelitoultimaCaptura DptodeultimaCaptura  MpiodeultimaCaptura  ///
	PrivadodelalibertadCruceI  EstadoCruceINPEC TipodeReincidencia  DelitoReincidencia  NdeHijos ///
	GrupoTerritorialAsignado 
	
gen codigoespejo= CodigoIndividuo
sort  codigoespejo 
quietly by codigoespejo :  gen dup5 = cond(_N==1,0,_n)
drop if dup5>1
drop dup5

gen year= 2016
gen month= 12
gen date=mdy(month,27,year)
format date %td

egen origmuni=ends(Municipio), last
egen origmuncapturas=ends(MpiodeultimaCaptura), last
drop if origmuni=="Registra>"
destring origmuni, generate(origmun)
destring origmuncapturas, generate(origmuncaptura)

gen Fechaultimacaptura2 = date(Fechaultimacaptura, "YMD")
format Fechaultimacaptura2 %td
drop Fechaultimacaptura
gen Fechaultimacaptura = Fechaultimacaptura2
		
save "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2016_12.dta", replace

*** Append to create panle 2013-2016
use "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2016_12.dta", replace
append using "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2015_12.dta", force
append using "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2014_12.dta", force
append using "~/Dropbox/Replication_MVC/Datasets/ARN_Police/2013_12.dta", force

sort codigoespejo year

format Fechaultimacaptura %td

keep codigoespejo year origmun ExGrupo Exestructura Edad Grupoetnico Sexo ///
	   NNovedadesdeRetornos Municipio Departamento  ///
	  AtendidoenelMesActual  NdeAccionesdeFpTMesActual ///
	  indicedeReintegracion NdeCapturasCrucePONAL NdeCapturasenFlagrancia ///
	  Fechaultimacaptura CircunstanciadeultimaCaptura ///
	  DelitoultimaCaptura DptodeultimaCaptura MpiodeultimaCaptura ///
	  PrivadodelalibertadCruceI EstadoCruceINPEC TipodeReincidencia ///
	  DelitoReincidencia NdeHijos origmuncaptura GrupoTerritorialAsignado

order codigoespejo year origmun ExGrupo Exestructura Edad Grupoetnico Sexo ///
	   NNovedadesdeRetornos Municipio Departamento  ///
	  AtendidoenelMesActual  NdeAccionesdeFpTMesActual ///
	  indicedeReintegracion NdeCapturasCrucePONAL NdeCapturasenFlagrancia ///
	  Fechaultimacaptura CircunstanciadeultimaCaptura ///
	  DelitoultimaCaptura DptodeultimaCaptura MpiodeultimaCaptura ///
	  PrivadodelalibertadCruceI EstadoCruceINPEC TipodeReincidencia ///
	  DelitoReincidencia NdeHijos origmuncaptura GrupoTerritorialAsignado
	  

/// Clean Exestructura Again - Old code doesn't work in different versions. 

replace Exestructura = "Autodefensas Campesinas del Casanare" if Exestructura=="Autodefensa Campesinas del Casanare AUC"
replace Exestructura = "Autodefensas Campesinas del Casanare" if Exestructura=="Autodefensas del Casanare"
replace Exestructura = "Autodefensas Campesinas del Casanare" if Exestructura=="AUTODEFENSAS CAMPESINAS CASANARE"
replace Exestructura = "Bloque Cacique Nutibara" if Exestructura=="BLOQUE CACIQUE NUTIBARA DE LAS AUC"
replace Exestructura = "Bloque Central Bolivar" if Exestructura=="Bloque Central Bolivar ERPAC de las AUC"
replace Exestructura = "Bloque Heroes Montes de Maria" if Exestructura=="Bloque Heroes de los Montes de Maria"
replace Exestructura = "Bloque Heroes del Llano y Guaviare" if Exestructura=="Bloque Heroes del Llano"
replace Exestructura = "Bloque Mineros" if Exestructura=="Bloque Minero"
replace Exestructura = "BCB - Sur de Bolivar" if Exestructura == "Bloque CCB Sur de Bolivar"
replace Exestructura = "BCB - Sur del Putumayo" if Exestructura == "Bloque Sur del Putumayo" 
replace Exestructura = "BLOQUE CATATUMBO" if Exestructura == "Bloque Catatumbo" 
replace Exestructura = "BLOQUE CENTAUROS" if Exestructura == "BLOQUE CENTAUROS DE LAS AUC" 
replace Exestructura = "BLOQUE CENTAUROS" if Exestructura == "Bloque Centauros" 
replace Exestructura = "BLOQUE GUAVIARE" if Exestructura == "Bloque Guaviare" 
replace Exestructura = "BLOQUE MINEROS" if Exestructura == "BLOQUE MINEROS DE LAS AUC" 
replace Exestructura = "BLOQUE MINEROS" if Exestructura == "Bloque Mineros" 
replace Exestructura = "BLOQUE TOLIMA" if Exestructura == "Bloque Tolima" 
replace Exestructura = "Bloque Heroes de Montes de Maria" if Exestructura == "Bloque Heroes Montes de Maria" 
replace Exestructura = "Bloque Pacifico - Heroes del Choco" if Exestructura == "HÉROES BLOQUE PACÍFICO CHOCO" 
replace Exestructura = "VENCEDORES DE ARAUCA" if Exestructura == "Bloque Vencedores de Arauca" 
replace Exestructura = "VENCEDORES DE ARAUCA" if Exestructura == "BLOQUE VENCEDORES DE ARAUCA DE LAS AUC"
replace Exestructura = "Bloque Norte" if Exestructura == "Bloque norte"
replace Exestructura = "Autodefensas Campesinas de Meta y Vichada" if Exestructura == "Autodefensas Campesinas del Meta y Vichada" 
replace Exestructura = "Bloque Norte - El Copey" if Exestructura == "Frente Norte del Copey" 
replace Exestructura = "BLOQUE ELMER CÁRDENAS" if Exestructura == "Bloque Elmer Cardenas" 
replace Exestructura = "BCB - Sur del Putumayo" if Exestructura=="SUR PUTUMAYO"
replace Exestructura = "BLOQUE TOLIMA" if Exestructura=="BLOQUE TOLIMA "
replace Exestructura = "BLOQUE MINEROS" if Exestructura=="BLOQUE MINEROS "
replace Exestructura = "BLOQUE CATATUMBO" if Exestructura=="BLOQUE CATATUMBO "
replace Exestructura = "Heroes del Llano y Guaviare" if Exestructura=="Bloque Heroes del Llano y Guaviare"
replace Exestructura = "BLOQUE ELMER CÁRDENAS" if Exestructura == "BLOQUE ELMER CaRDENAS " 
replace Exestructura = "Autodefensas Campesinas de Meta y Vichada" if Exestructura == "BLOQUE META" 
replace Exestructura = "BCB - Sur del Putumayo" if Exestructura == "Autodefensas Campesinas del Putumayo" 
replace Exestructura = "Autodefensas Campesinas Magdalena Medio - Puerto Triunfo" if Exestructura == "ISIDRO CARREÑO"
replace Exestructura = "Bloque Calima" if Exestructura == "Autodefensas Campesinas de Ortega - Cauca"

* Non AUC paramilitary 
drop if Exestructura == "ADONAY ARDILA PINILLA" & ExGrupo == "AUC"
drop if Exestructura == "RAMON GILBERTO BARBOSA" & ExGrupo == "AUC"
drop if Exestructura == "AGUILAS NEGRAS" & ExGrupo == "AUC"
drop if Exestructura == "OTROS FRENTES" & ExGrupo == "AUC"
drop if Exestructura == "Suroeste" & ExGrupo == "AUC"
drop if Exestructura == "Bloque Oriental" & ExGrupo == "AUC"
drop if Exestructura == "FRENTE 29" & ExGrupo == "AUC"
drop if Exestructura == "BLOQUE GUAVIARE" & ExGrupo == "AUC"
drop if Exestructura == "BLOQUE GUAVIARE " & ExGrupo == "AUC" 

* No clear group
drop if Exestructura == "Autodefensas Campesinas del Casanare" & ExGrupo=="AUC" 
drop if Exestructura == "HeROES BLOQUE PACiFICO CHOCO" & ExGrupo=="AUC" 
drop if Exestructura == "BLOQUE ELMER CÁRDENAS" & ExGrupo=="AUC" 
drop if Exestructura == "Bloque Central Bolivar"  & ExGrupo=="AUC" 
drop if Exestructura == "BLOQUE ELMER CaRDENAS" & ExGrupo=="AUC" 
drop if Exestructura == "BLOQUE CACIQUE PIPINTa" & ExGrupo=="AUC" 
drop if Exestructura == "BLOQUE CACIQUE PIPINTÁ" & ExGrupo=="AUC" 
drop if Exestructura == "Bloque Norte" & ExGrupo=="AUC" 

foreach X in Exestructura {
	replace `X' = lower(`X')	 
	replace `X' = subinstr(`X'," ","",.) 
}

* Remaining changes and complete missing
replace Exestructura = "bloquecordoba" if Exestructura == "bloquecrdoba"
replace Exestructura = "bloquecordoba" if Exestructura == "bloquecórdoba"
replace Exestructura = "bloqueelmercardenas-necocli" if Exestructura == "bloqueelmercardenas-necoclí"
replace Exestructura = "bloqueelmercardenas-ungia" if Exestructura == "bloqueelmercardenas-ungía"

bys codigoespejo: replace Exestructura=Exestructura[_n+1] if missing(Exestructura)

* Clean covariates
sort codigoespejo year

bys codigoespejo: replace Grupoetnico=Grupoetnico[_n+1] if missing(Grupoetnico)
bys codigoespejo: replace Grupoetnico=Grupoetnico[_n+1] if missing(Grupoetnico)
bys codigoespejo: replace Grupoetnico=Grupoetnico[_n+1] if missing(Grupoetnico)

bys codigoespejo: replace Sexo=Sexo[_n+1] if missing(Sexo)
bys codigoespejo: replace Sexo=Sexo[_n+1] if missing(Sexo)
bys codigoespejo: replace Sexo=Sexo[_n+1] if missing(Sexo)

sort codigoespejo year

replace Edad=75 if Edad==100

replace NdeHijos=. if NdeHijos==-2
replace NdeHijos=. if NdeHijos==-1

gen ndeacciones = NdeAccionesdeFpTMesActual

save "~/Dropbox/Replication_MVC/Datasets/ARN_Police/ACR_panel.dta", replace
